All Verdicts are Not Equal: Rethinking LLM Judge Reliability
所有判决并非平等：重新思考 LLM 裁判可靠性
🧭 LLM-as-a-Judge 可靠性审计
PayPal
对 LLM-as-a-Judge 进行系统可靠性压力测试，提出可信判决率 T，并发现 rubric 打分比成对胜负更可信
📌 工作参考价值（4 点）
- 在电商/搜索评估链路中不要用单次 LLM 成对判定作为 ground truth：至少交换待比较项顺序、重复采样多次、记录一致性；可引入类似可信判决率 T 的联合概率作为上线门槛。
- 位置偏差对 pairwise 评估影响严重，尤其是困难样本；推荐策略 A/B 对比、query 改写/生成质量评估应优先使用整体 rubric 打分（分维度评分），而不是直接问法官谁赢。
- temperature=0 不等于确定性；若业务依赖 LLM 自动打分生成训练信号（如 RL reward），必须显式固定 seed、多轮采样并丢弃不一致样本，防止错误信号被误认为稳定标签。
- 可靠性是 item-specific 的，不适合只看模型级平均准确率；对高价值场景（大促文案、头部商品推荐理由）按 item/类目统计置信度，低可信样本人工复核。